Sau sự suy tàn của nhà Tấn, các phần phía Bắc Trung Quốc nằm dưới sự kiểm soát của Bắc Ngụy. Họ đã xây dựng Bình Thành ngày nay là Đại Đồng trở thành thủ đô và nhanh chóng nhiều công trình đã mọc lên. Bắc Ngụy sớm chấp nhận Phật giáo là quốc giáo. Phật giáo đã lan đến đây thông qua Con đường tơ lụa cổ đại cực bắc dài khoảng 2600 km, nối liền Tây An đến Vũ Uy qua Kashgar trước khi đến vương quốc của người Parthia.[5]

Hang đá bắt đầu được tạc khắc vào năm thứ hai Hưng An thời Bắc Ngụy tức năm 453 và các hang động đầu tiên được hoàn thành được đánh số từ 16-20 như hiện tại. Đến khoảng năm 471, giai đoạn xây dựng thứ hai bắt đầu và hoàn thành vào năm 494 với các hang từ 5-13 được xây dựng dưới sự giám sát của triều đình. Sau khi triều đình Bắc Ngụy dời đô đến Lạc Dương vào năm 494, tất cả các hang động được xây dựng sau đó nằm dưới sự bảo trợ của tư nhân quý tộc, hầu hết là các hang động nhỏ và được hoàn thành vào những năm giữa Chính Quan (năm 520 đến 525) và công việc sau đó phải dừng lại khi những cuộc nổi dậy trong khu vực diễn ra.

Kể từ sau đó, các hang động đá sa thạch bị ảnh hưởng bởi thời tiết khắc nghiệt. Nhiều trong số đó tiếp xúc trực tiếp với không khí ô nhiễm, bụi gió từ thành phố công nghiệp Đại Đồng, các mỏ, đường cao tốc và từ cả sa mạc Gobi gần đó khiến các bức tượng tại đây bị đe dọa.[6] Trong thời nhà Liêu, nhiều bức tượng đã được làm mới cùng với việc tích hợp thêm "10 ngôi đền Vân Cương" từ 1049 đến 1060 nhằm bảo vệ các hang động chính. Tuy nhiên, nó đã bị phá hủy chỉ sau đó 60 năm trong một trận hỏa hoạn. Các tòa nhà bằng gỗ nằm trước hang 5 và 6 được xây dựng vào năm 1621, vào đầu triều đại nhà Thanh. Kể từ những năm 1950, các vết nứt trên sa thạch đã được khắc phục bằng cách trét vữa, và việc trồng rừng đã được thực hiện như là nỗ lực giảm ảnh hưởng từ những trận bão cát.[7] Trong tháng 4 và 5 năm 1991, các thí nghiệm đo mức độ ô nhiễm không khí trong các hang đá Vân Cương được diễn ra.[8]